视频一区二区欧美丨亚洲国产欧美动漫在线人成丨日本三级一区丨91新网站丨日韩草比丨亚洲综合色噜噜狠狠网站超清丨蜜桃无码一区二区三区丨久久99热婷婷精品一区丨久久久久黄色片丨国内激情自拍丨深夜在线网站丨国产精品1000夫妇激情啪丨julia中文字幕久久亚洲蜜臀丨视频h在线丨亚洲精品国产综合99久久夜夜嗨丨成人免费午夜性大片丨最新三级网站丨欧美激情视频在线播放丨午夜伦4480yy私人影院丨91在线视频导航

網(wǎng)頁(yè)抓取優(yōu)先策略也稱(chēng)為“頁(yè)面選擇問(wèn)題”(page Selection),通常是盡可能地首先抓取重要性的網(wǎng)頁(yè)，這樣保證在有限的資源內(nèi)盡可能地照顧到那些重要性高的網(wǎng)頁(yè)。那么哪些網(wǎng)頁(yè)才是重要性高的呢？如何量化重要性呢？

重要性度量由鏈接歡迎度、鏈接重要度和平均鏈接深度這個(gè)方面決定。

定義鏈接歡迎度為IB(p)，它主要由反向鏈接(Backinks)的數(shù)目和質(zhì)量決定。首先考察數(shù)目，直觀地講，一個(gè)網(wǎng)頁(yè)有越多的鏈接指向它（反向鏈接數(shù)多），那么表示其他網(wǎng)頁(yè)對(duì)其的認(rèn)可。同時(shí)這個(gè)網(wǎng)頁(yè)被網(wǎng)民訪(fǎng)問(wèn)的機(jī)會(huì)就大，推測(cè)出其重要性也就越高;其次考察質(zhì)量，如果被越多的重要性高的網(wǎng)指向，那么其重要性也就越高。如果不考慮質(zhì)量，就會(huì)出現(xiàn)局部最優(yōu)，而不是全局最優(yōu)的問(wèn)題。最典型的就是作弊網(wǎng)頁(yè)，人為地在一些網(wǎng)頁(yè)中設(shè)置了大量反策鏈接指向其自身的網(wǎng)頁(yè)，以提高該網(wǎng)頁(yè)的重要性。如果不考慮鏈接質(zhì)量，就會(huì)被這些作弊者所利用。

定義鏈接重要度為IL(p)，它是一個(gè)關(guān)于URL字符串的函數(shù)，僅僅考察字符串本身。鏈接重要度主要通過(guò)一些模式，比如認(rèn)為包含“.COM”或者“HOME”的URL重要度高，以及具有較少斜杠(Slash)的URL重要度高等。

定義平均鏈接深度為ID(p),此為筆者所創(chuàng)。ID(p)表示在一個(gè)種子站點(diǎn)集合中，每個(gè)種子站點(diǎn)如果存在一條鏈路（寬度優(yōu)先遍歷規(guī)則）到達(dá)該網(wǎng)頁(yè)，那么平均鏈接深度就是這個(gè)網(wǎng)頁(yè)的又一個(gè)重要性指標(biāo)。因?yàn)榫嚯x種子站點(diǎn)越近，說(shuō)明被訪(fǎng)問(wèn)的機(jī)會(huì)越多，離種子站點(diǎn)越遠(yuǎn)，重要性越低。事實(shí)上，按照寬度優(yōu)先的遍歷規(guī)則即可滿(mǎn)足這種重要性高的網(wǎng)頁(yè)被優(yōu)先抓取的需要。

最后，定義網(wǎng)頁(yè)重要性的度量為I(p)，它由以上兩個(gè)量化值線(xiàn)性決定，即：

I(p)＝a*IB(p)+β*IL(p)

平均鏈接深度同寬度優(yōu)先的遍歷規(guī)則保證，因此不作為重要性評(píng)價(jià)的指標(biāo)。在抓取能力有限的情況下，如果能夠把重要性高的網(wǎng)頁(yè)盡可能地抓完，是合理科學(xué)的，最終被用戶(hù)查詢(xún)到的網(wǎng)頁(yè)也往往是那些重要性高的網(wǎng)頁(yè)。

盡管這樣看來(lái)已經(jīng)足夠完美，事實(shí)上，還是忽視了一個(gè)重要的要素－－時(shí)間。時(shí)間導(dǎo)致萬(wàn)維網(wǎng)動(dòng)態(tài)變化的一面。如何抓取那些新增的網(wǎng)頁(yè)呢？如何重訪(fǎng)那些被修改了的網(wǎng)頁(yè)呢？如何發(fā)現(xiàn)那些被刪除了的網(wǎng)頁(yè)呢？為了保持和萬(wàn)維網(wǎng)網(wǎng)頁(yè)的同步變化，就必須有網(wǎng)頁(yè)重訪(fǎng)策略。通過(guò)該策略可以識(shí)別增加、修改及刪除網(wǎng)頁(yè)這3種網(wǎng)頁(yè)變化的情況。